学术前沿 | 基于随机计算的神经网络模型-加速器电路协同设计研究进展

 导读 

本文是北京大学人工智能研究院类脑智能芯片研究中心李萌助理教授和集成电路学院王润声教授团队在2023年 DATE上发表论文Accurate yet Efficient Stochastic Computing Neural Acceleration with High Precision Residual Fusion 的介绍。

该论文提出了一种基于随机计算的神经网络加速器，通过协同设计、优化神经网络与加速器芯片，在低精度随机计算卷积运算中融合高精度残差连接，有效提升了推理准确率（9.43%），并且几乎不增加额外的硬件开销（仅1.3%）。

北京大学博士研究生胡逸轩为第一作者，李萌助理教授与王润声教授为指导老师。

论文链接：（点击下方阅读原文）

https://ieeexplore.ieee.org/abstract/document/10136942

随着深度神经网络（DNN）研究的发展，智能物联网设备上的神经网络模型推理被广泛应用于图像识别、视频处理、自然语言处理等各个任务。然而，DNN模型的发展带来了网络参数和计算量的快速增加，对计算和存储受限的边缘设备带来了新的挑战。随机计算（SC）是一种基于概率计算的计算方法，通过使用比特流代替传统二进制编码进行计算，有望实现高面积效率的算术电路和很好的容错性，非常适合用于边缘计算的神经网络加速。

SC用于网络加速的相关研究已经有许多，研究者们通过优化乘法器或整体电路显著提升了SC网络加速的性能。即便如此，此前工作仍然面临着推理效率和准确率的本征矛盾：算术运算精度的提升，虽然能够提升推理准确率，但会造成硬件计算代价的指数级增长；算术运算精度的下降，虽然能提升计算效率，但是直接降低推理的准确率。如图1所示，用短比特流（例如2比特）的低精度随机计算电路非常高效，但造成了10%准确率降低；而尽管更长的比特流可以提高精度，确实以3到10倍的硬件开销为代价。

图1 随机计算（SC）推理准确率与电路效率随比特流长度的变化趋势

针对上述SC电路面临的无法兼顾神经网络推断准确率和电路效率的问题，该工作对CIFAR10上的ResNet18的权重和激活分别进行了量化，发现对激活值的量化更显著地影响了网络准确率，因而低精度的激活值是准确率的主要瓶颈。因此，该工作从神经网络模型结构和电路方面进行了协同优化，给出一种准确且高效的随机计算神经网络加速设计。

图2 分别量化模型参数和激活值找出低精度网络准确率的瓶颈，即低精度的激活值

在神经网络模型结构方面，该工作提出了将高精度残差与低精度数据通路相结合的新架构：通过将神经网络推断运算中占据最多运算量的卷积操作保持在较低的精度，保障整体电路的硬件效率；同时引入高精度的残差连接，大幅提升网络推断的准确性。该架构还将批归一化（BN）与激活函数融合以进一步提高SC推理效率。

在电路方面，该工作分析了不同精度比特流的累加逻辑，并提出了对残差比特流缩放因子做匹配处理的高精度残差模块，和能够一次性实现BN、ReLU激活和输出重量化的融合激活函数模块。

图3 所提出的SC友好的低精度量化神经网络及其所需电路支持

基于上述创新技术，课题组对提出的高精度残差设计与对照加速器进行了比较。比较结果表明，我们的设计相比于侧重电路效率的原始设计，以1.3%的硬件代价，提高了9.4%推断准确率。而与侧重准确率的原始设计相比，所提出的高精度残差设计提高了3倍电路效率，同时保持准确率相当。

图4 基于神经网络-SC电路协同优化，兼顾推理准确性和效率

总的来说，李萌助理教授与王润声教授课题组的研究提出了一种新的神经网络-SC电路协同优化设计，该设计在保持电路硬件效率的同时提高网络精度，这对于随机计算在边缘计算神经网络加速器中的应用具有重要意义。

会议介绍

DATE（欧洲设计自动化与测试学术会议，Design, Automation and Test in Europe）是在欧洲每年举行的电子设计自动化的主题会议，由ACM SIGDA（ACM设计自动专业化组，ACM Special Interest Group on Design Automation）、EDAA（欧洲设计自动化协会，European Design and Automation Association）、EDAS（底子系统设计联盟，Electronic System Design Alliance）、CEDA（IEEE电子设计自动化委员会，IEEE Council on Electronic Design Automation）共同主办。其与DAC（国际设计自动化会议，Design Automation Conference）、ICCAD（国际计算机辅助设计会议，International Conference on Computer Aided Design）并称电子设计自动化领域三大顶级国际会议。

团队介绍

李萌助理教授于2022年加入北京大学人工智能研究院/集成电路学院从事高效、安全的人工智能加速算法和系统研究。李萌2018年于德州大学奥斯汀分校取得博士学位，2018-2022年在美国Meta（原Facebook）公司工作，任Staff研究科学家。

课题组主页：mengli.me

课题组常年招收志在探索未知的本科生、研究生与博士后。

请邮件联系: [e-mail]

—   往期发布  —

点击图片查看原文

学术前沿 |穆亚东课题组在控制论启发的视觉学习方面取得进展

  点击图片查看原文

点击图片查看原文

—   版权声明  —

本微信公众号所有内容，由北京大学人工智能研究院微信自身创作、收集的文字、图片和音视频资料，版权属北京大学人工智能研究院微信所有；从公开渠道收集、整理及授权转载的文字、图片和音视频资料，版权属原作者。本公众号内容原作者如不愿在本号刊登内容，请及时通知本号，予以删除。